/**
 * 大数据量去重（100万+数据优化版）
 * @param {Array} arr - 大数据数组
 * @returns {Array} 去重后的新数组
 */
function uniqueLarge(arr) {
  if (!Array.isArray(arr)) {
    throw new TypeError('Expected an array');
  }
  
  // 优化：对于超大数组使用分批处理
  if (arr.length > 1000000) {
    return uniqueLargeBatch(arr);
  }
  
  const set = new Set();
  const result = [];
  
  for (let i = 0; i < arr.length; i++) {
    const item = arr[i];
    if (!set.has(item)) {
      set.add(item);
      result.push(item);
    }
  }
  
  return result;
}

// 分批处理超大数据
function uniqueLargeBatch(arr, batchSize = 100000) {
  const result = [];
  const seen = new Set();
  
  for (let i = 0; i < arr.length; i += batchSize) {
    const batch = arr.slice(i, i + batchSize);
    batch.forEach(item => {
      if (!seen.has(item)) {
        seen.add(item);
        result.push(item);
      }
    });
  }
  
  return result;
}